Beyond Static Dialogues: Benchmarking Realistic, Heterogeneous, and Evolving Long-Term Memory
RHELM：真实、异构、演化的长期记忆评测基准
🧭 LLM长期记忆评估基准 ★ 深度解读
Renmin University of China · Microsoft
提出LOOP模块驱动动态多源对话，定义27项记忆特征，揭示LLM在真实场景中的严重记忆缺陷
📌 工作参考价值（4 点）
- 用户画像动态演化机制：LOOP模块的“规划-推演-演化-修剪”循环可复用于电商Agent的用户画像更新，通过概率化正面/负面结果推演，使对话长期一致且状态动态演变，避免画像僵化。
- 异构记忆融合设计：借鉴RHELM将对话流与外部文档（报告、邮件）在时间线上对齐的做法，在推荐或客服系统中整合多源信息（用户聊天、浏览记录、工单），提升对用户全维理解。
- 误导查询压力测试：引入“记忆条件误导查询”维度，主动构造与用户历史状态冲突的请求，检测模型是否盲目遵循指令。可移植到电商Agent的意图冲突检测，避免对已退货商品继续推荐或执行矛盾操作。
- Verifier辅助数据质检：在合成训练或评估数据时，采用分阶段Verifier自动校验语义一致性，可降低人工成本并保障数据质量，适合大规模生成式推荐场景的数据管线。